Title: Psychology / Diagnostik II / 09_UrteileFehler

Q: Die Qualität eines Urteils kann überprüft werden, wenn [...] vorliegt
A: ein Goldstandard
Extra: („Kriteriumswerte“, z.B. eine bestätigte psychiatrische Diagnose, der
Ausbildungs- oder Berufserfolg, …)

Q: Was ist der Unterschied zwischen klinischer Urteilsbildung und statistischer/mechanischer Urteilsbildung?
A: Klinische Urteilsbildung:
- Individuelle (intuitive) Urteile von Menschen
- Freie Kombination der vorhandenen Informationen
Statistische Urteilsbildung:
- Anwendung einer feststehenden, zuvor empirisch ermittelten Verrechnungsvorschrift
- Kombination der vorhandenen Informationen nach dieser Regel

Q: Meta-Analysen von Grove et al. (2000): Mechanische Urteile sind im Durchschnitt [...]% genauer als klinische
A: 10
Extra: Zudem unabhängig von der Erfahrung der Beurteiler!

Q: Statistische Urteilsmodelle können nur mit den Informationen konstruiert werden, die [...].
A: für alle Personen vorliegen
Extra: Wenn ein Wert in das Gesamturteil eines Modells mit einfließt, benötigt man diesen für alle Personen, die beurteilt werden sollen.

Q: Welche Art der diagnostischen Urteilsbildung wird in der Praxis vor allem verwendet?
A: Klinische!
(mechanische Modelle oft nicht verfügbar, keine Vertrautheit mit Modell, kann nicht alle Faktoren berücksichtigen)

Q: Wie erkennt man einen validen Test in der Punktewolke der Test/Kriteriums-Visualisierung?
A: Punkte streuen nah um die winkelhalbierende Gerade

Q: Die Qualität der Überlegungen zu Urteilsfehlern hängt von der Qualität des [...] ab
A: Goldstandards

Q: Welche 4 Kategorien der (Nicht-)Übereinstimmung unterscheidet man bei Test/Kriteriums Vergleichen?
A: True Positives
False Positives
True Negatives
False Negatives

Synonyme:
Hit: True Positive
Miss: False Negative
False Alarm: False Positive
Correct Rejection: True Negative

Q: Was ist die Selektionsrate?
A: (TP+FP) / N
(→ Direkt abhängig vom Cutoff Wert des Tests)

Q: Was ist die Prävalenz/Basisrate?
A: (TP + FN) / N
(auch: considered satisfactory oder "wie gut wäre eine Klassifikation ohne Test")

Q: Was ist die Sensitivität?
A: TP / (TP + FN)
Wahrscheinlichkeit, mit der ein vorliegender positiver Zustand als solcher erkannt wird
→ Trefferquote

Q: Was ist die Spezifizität?
A: TN / (TN + FP)
Wahrscheinlichkeit, mit der ein vorliegender negativer Zustand als solcher erkannt wird

Q: Hohe Sensitivität → Wenige [...]!
A: False-Negatives

Q: Hohe Spezifität → Wenige [...]!
A: False-Positives

Q: Was ist der PPV (Positive Prädiktoren Wert)?
A: TP / (TP + FP)
Wahrscheinlichkeit, mit der ein positives Urteil zutreffend ist

Q: Was ist de NPV (Negativer Prädiktor Wert)?
A: TN / (FN + TN)
Wahrscheinlichkeit, mit der ein negatives Urteil zutreffend ist

Q: Was ist die AKD/Accuracy?
A: (TP + TN) / N
Wahrscheinlichkeit, mit der ein gefälltes Urteil zutreffend ist
Problem: Gibt keinen Aufschluss über Unterschiede zwischen negativen / positiven Urteilen

Q: Ob Sensitivität oder Spezifität wichtig(er) sind, hängt davon ab, [...]
A: welcher Fehler im Vordergrund steht und minimiert werden soll
Extra: False-Negatives → Sensitivität bzw. NPV
False-Positives → Spezifität bzw. PPV

Q: Welche Gütekennzahlen betrachtet man jeweils, wenn die Eigenschaften bzw. Relevanz eines Verfahrens von Interesse sind?
A: Eigenschaften (Qualität): Sensitivität, Spezifizität
Relevanz: PPV, NPV

Q: Wie kann man alpha Fehler durch Gütekennzahlen von Urteilen ausdrücken?
A: alpha = FP / (FP + TN) = 1 - Spezifizität

Q: Wie kann man beta Fehler durch Gütekennzahlen von Urteilen ausdrücken?
A: beta = FN / (FN + TP) = 1 - Sensitivität

Q: Welche 3 Größen spielen bei der Optimierung von Auswahlentscheidungen eine Rolle?
A: 1. Validität
2. Basisrate
3. Cut-Off-Wert (Testtrennwert)

Q: Welche Rolle spielt die Validität bei der Optimierung von Auswahlentscheidungen?
A: Höhere Validität verringert alle Fehlentscheidungen → Verbessert alle Gütekriterien (aber Cut-Off-Wert des Tests muss zu Kriterium passen)

Q: Eine höhere Basisrate geht mit einem höheren [...] einher, aber einem niedrigeren [...]
A: PPV; NPV

Q: Eine niedrige Basisrate geht mit einem höheren [...] einher, aber einem niedrigeren [...]
A: NPV; PPV

Q: Die Basisrate in der Population hat keinen Einfluss auf [...]
A: Sensitivität und Spezifität

Q: Was ist bei extrem geringen/hohen Basisraten im Hinblick auf Urteile zu beachten?
A: geringe/moderate Validität → mehr Fehler als bei Zufallsauswahl

Q: Ein höherer Testtrennwert ( → geringere [...]) geht mit einem höheren [...] und einer höheren [...] einher
A: Selektionsrate; PPV; Spezifität

Q: Ein niedrigerer Testtrennwert (→ höhere [...]) geht mit einem höheren [...] und einer höheren [...] einher
A: Selektionsrate; NPV; Sensitivität

Q: Die [...] hilft bei [...]
A: ROC Kurve (Receiver operating characteristics); der Findung für Cut-Off-Werte für ein optimales Verhältnis zwischen Sensitivität und Spezifität

Q: Was sind die beiden Achsen der ROC Kurve?
A: y: Sensitivität
x: 1-Spezifität (Fehlerrate)

Q: Welches (neue) Gütekriterium für Urteile kann man aus der ROC Kurve gewinnen?
A: Area under the curve
Je weiter weg die Kurve von der Diagonalen ist (AUC = 0.5 → Zufallsprozess), desto höher die AUC und desto besser ist die Güte des Verfahrens

Q: Was ist die Diskriminationsfähigkeit eines Verfahrens?
A: Kombination aus Sensitivität + Spezifität: Wie gut kann zwischen positiven und negativen Zuständen differenziert werden?

Q: Was ist der Wertebereich der AUC von ROC?
A: 0-1, aber realistisch 0.5-1

Q: Welche 4 Größen (Gütekennzahlen) können bei der Optimierung von Auswahlentscheidungen maximiert werden?
A: Sensivität
Spezifität
PPV
NPV

Q: Welche Gütekennzahl von Urteilen will man bei Personalauswahlverfahren meistens maximieren?
A: PPV

Q: Welche Gütekennzahl von Urteilen will man bei klinischen Diagnosen meistens maximieren?
A: Sensitivität

Q: Die Inferenz über ein Merkmal hängt nicht nur vom Testergebnis (Diagnose) und der Qualität des Tests (Sensitivität und
Spezifität) ab, sondern auch von der [...]
A: Basisrate (Prävalenz)

Q: Man betrachtet [...] für eine generelle Auswahl von einem Verfahren zur Urteilsfindung, und [...] bei einem konkret vorliegenden Urteil.
A: Sensitivität und Spezifität; NPV und PPV

Q: Welchen Zusammanhang gibt es zwischen Validität und Selektionsrate?
A: Keinen

Q: Je [...] die Validität, desto [...] sind die Fehlentscheidungen in der Nähe des Test- &
Kriteriums-Cut-Off-Werts
A: höher; näher

Q: Ist der Median der Kriteriumsverteilung gleich dem Kriteriums-Cut-Off, so [...].
A: ist die Basisrate 0.5

Q: Wenn der Mittelwert der Kriteriumsverteilung dem Kriteriums-Cut-Off entspricht, dann ist die Basisrate nur dann [...], wenn [...].
A: 0.5; die Kriteriumsverteilung einer Normalverteilung folgt (oder Median = Mittelwert)

Q: Wann sollte man einfach alle Bewerber eines Auswahlverfahrens annehmen, ohne mit einem vorliegenden Verfahren zu testen?
A: Wenn die Basisrate höher als die Accuracy des Tests ist

Q: [...] und [...] sind keine [...].
A: Basisrate; Selektionsrate; Gütekriterien eins Verfahrens/Urteils

Q: Was sind die 5 Gütekriterien (Kennzahlen) von Verfahren/Urteilen?
A: Sensitivität
Spezifität
PPV
NPV
Accuracy